Beyond 3D VQAs: Injecting 3D Spatial Priors into Vision-Language Models for Enhanced Geometric Reasoning
超越3D VQA：向VLM注入3D空间先验以增强几何推理
🧭 多模态大模型3D空间推理增强
FAIR at Meta · UC Berkeley · HKU
通过深度监督的对应头和双重几何损失，将2D/3D先验注入LLM层，无需3D VQA数据即大幅提升空间推理
📌 工作参考价值（4 点）
- 内部几何对应诊断：可借鉴对模型各层进行几何对应精度诊断的思路，分析电商多模态推荐模型中视觉分支何时建立实例不变性，用于指导蒸馏或层间损失设计。
- 多视角一致性训练：利用多视角图像的几何对应作为自监督信号，提升商品图像表征的3D不变性，有助于在商品搜索中跨角度匹配同一物品。
- 深度一致性损失：通过深度监督约束解决2D视图歧义，可拓展到推荐系统中的多模态对齐任务（如视频封面与标题），用3D信息隐式消除歧义。
- 轻量对应头：引入一个小的对应头作为各层的深层监督，不改变主干架构；该trick可迁移到多模态Agent的视觉编码器训练，用点对应任务增强中间特征的空间理解。